Mixture-of-Expert Blocks Contain Strong Hallucination Detection Signals
MoE 块蕴含强幻觉检测信号
🧭 MoE 路由信号幻觉检测
INESC-ID · Instituto Superior Técnico
利用 MoE 路由熵/专家不一致等内部信号提出 InnerExpert，实现 token 级幻觉检测并达 SOTA
📌 工作参考价值（3 点）
- 若业务已使用 MoE 架构模型（如 Mixtral、DeepSeek），可直接采集路由熵、专家激活分布、专家不一致等特征，作为额外的“不确定性/事实性”信号，用于拒答、触发检索或降低生成置信度，成本几乎为零。
- 借鉴 InnerExpert 的轻量分类器设计：将路由特征与隐藏状态拼接后训练一个小型检测头，只做一次前向即可输出 token 级幻觉概率，适合实时推荐/Agent 场景。
- 用 LLM-as-judge 自动生成 token 级真实标签，避免人工标注，支持线上数据回流持续更新检测器；对电商文案、推荐理由、Agent 回答可做细粒度事实核查和风险定位。